Giai đoạn thế kỷ XV - thế kỷ XVI: có rất nhiều đoàn du hành của châu Âu ghé qua thăm Côn Đảo.

Cuối thế kỷ XVII và đầu thế kỷ XVIII: các nhà tư bản Anh, Pháp đã bắt đầu để ý đến các nước phương Đông. Nhiều lần các công ty của Anh, Pháp cho người tới Côn Đảo điều tra, dò xét tình hình mọi mặt với dụng ý chiếm Côn Đảo.

Năm 1702, tức năm thứ 12 đời Chúa Nguyễn Phúc Chu, đích thân giám đốc Công ty Đông Ấn của Anh chỉ huy quân đổ bộ lên Côn Đảo, xây dựng pháo đài[11] và cột cờ.

Sau 3 năm, vào ngày 3 tháng 2 năm 1705 thì xảy ra cuộc nổi dậy của lính Macassar (lính người Sulawesi[11]). Đoàn quân Anh phải rời bỏ Côn Đảo.

• Ngày 28 tháng 11 năm 1783, trong chuyến đem hoàng tử Cảnh và vương ấn của Chúa Nguyễn Ánh về Pháp, Pigneau de Béhaine (Bá Đa Lộc) tự đứng ra đại diện cho Nguyễn Ánh để ký với Bá tước De Mantmarin (đại diện cho vua Louis XVI của Pháp) một hiệp ước tên gọi là Hiệp ước Versailles. Đây là văn kiện đầu tiên nhượng cho Pháp chủ quyền cửa biển Touron[12] và quần đảo Côn Lôn. Đổi lại, Pháp sẽ giúp Nguyễn Ánh 4 tàu chiến, 1.200 lính, 200 pháo thủ, 250 người lính Phi để chống lại nhà Tây Sơn. Cách mạng Pháp nổ ra khiến nước này không thực hiện được cam kết trên.[13]

Tương truyền trong đợt thứ 3 bị Tây Sơn truy sát thì Nguyễn Ánh và thuộc hạ đã trốn ra Côn Lôn. Ông sống ẩn dật mấy tháng trời ở đây. Vì thế, hiện nay ở đảo Côn Sơn có một ngọn núi cao gọi là núi Chúa; ở làng An Hải có đền thờ thứ phi của Nguyễn Ánh là Hoàng Phi Yến và ở làng Cỏ Ống có Miếu Cậu thờ Hoàng tử Cải con của thứ phi Hoàng Phi Yến.

Ngày 22 tháng 8 năm 1822, sau khi đi ngang hai đảo tí hon, The Brothers hòn Trứng Lớn - Nhỏ, tàu của Crawfurd tới đảo Pulo Condore. Ông cho rằng người dân Cochin China dễ gần và đáng tin tưởng hơn người Xiêm. Khi lên bờ, ông đã thấy tàn tích nhà máy cũ của người Anh xây trước đây trên đảo: "cách đó khoảng 118 năm, tức năm 1702 - 1704, người Anh đã thiết lập đồn lính và nhà máy trên đảo này. Trước đó họ đã bị đuổi khỏi Chusan (Trung Quốc), Thống đốc Ketchpoole khuyến khích người Celebes làm lính thuê trong 3 năm. Ông ta không trả đúng tiền lương và những người lính đã nổi loạn, thảm sát người Anh trên đảo. Những người còn sống sót chạy sang Johor."[14] Ngay khi đặt chân lên đảo, người dân chào đón đoàn của Crawfurd một cách tự tin và thẳng thắn mặc dù có lẽ họ hiếm khi gặp người châu Âu. Một nhóm thanh niên đang chơi bóng đá trên bãi biển vội ngừng cuộc vui, dẫn đoàn của Crawfurd đi gặp thôn trưởng. Vị thôn trưởng đáng kính này khoảng 45 tuổi, mời đoàn người châu Âu đi tham quan. Một số người dân và quan chức lên thăm tàu, họ mang theo hàng hóa để trao đổi với hàng hóa Châu Âu. Theo Crawfurd, người dân ở đây Côn Đảo thanh bần và đáng mến hơn so với người Xiêm tham lam, giảo trá, bất kể tầng lớp mà ông đã gặp ở Xiêm. Vị quan tốt bụng, đứng đầu trên đảo, tên là Cham-Kwan-Luong[15].[14] Quần đảo Pulo Condore gồm 12 đảo, đủ kích cỡ. Đảo lớn nhất Côn Sơn, dài 12 dặm, rộng cỡ 4 dặm. Tên gọi theo tiếng Mã Lai của Pulo Condore có nghĩ là đảo Bí đao; người An Nam không biết tên này, họ gọi nó là Koh-naong Côn Nôn. Ngôi làng trong vịnh lớn nhất có khoảng 300 dân. Còn hai làng khác trên đảo, tổng cộng dân trên đảo khoảng 800 người. Toàn bộ người dân ở đây là người Cochin China Việt Nam, không có người Hoa hay Campuchia ở đây. Người dân Pulo Condore mua gạo chủ yếu từ Saigun Sài Gòn, đổi lại họ bán rùa, hải sản... Họ cũng cống nạp rùa sống đồi mồi cho vua Cochin China. Crawfurd sau đó được biết rằng vua nước Cochin China hiện đang ở Huế, còn Chao-Kun Tả Quân[16], vị Thống đốc Lower Cochin China Nam Kỳ, thì đang ở Saigun. Crawfurd nóng lòng được gặp vị quan ở Saigun đó, bởi ngoại trừ Kachao Kẻ Chợ ở Tonquin Đông Kinh, thì [Sài Gòn] là nơi giàu có nhất vương quốc này. Tàu của Crawfurd rời Pulo Condore đi Cape St. James Vũng Tàu.[14]